摘要 — 基础模型 (FM) 是在海量数据集上训练的大规模深度学习模型,通常使用自监督学习技术。这些模型可作为各种下游任务(包括医学和医疗保健任务)的多功能基础。FM 在多个医疗保健领域取得了显著的成功。然而,该领域的现有调查并未全面涵盖 FM 取得重大进展的所有领域。在本次调查中,我们对医学领域的 FM 进行了全面回顾,重点关注其发展、学习策略、旗舰模型、应用和相关挑战。我们研究了 BERT 和 GPT 系列等著名 FM 如何改变医疗保健的各个方面,包括临床大型语言模型、医学图像分析和组学研究。此外,我们还提供了支持 FM 的医疗保健应用的详细分类,涵盖临床自然语言处理、医学计算机视觉、图形学习和其他与生物学和组学相关的任务。尽管 FM 具有变革潜力,但它们也带来了独特的挑战。本次调查深入探讨了这些挑战,并重点介绍了未解决的研究问题和经验教训,以指导研究人员和从业人员。我们的目标是提供有关 FM 在健康方面的能力的宝贵见解,促进负责任的部署并减轻相关风险。
主要关键词